We propose Spatio-temporal Crop Aggregation for video representation LEarning (SCALE), a novel method that enjoys high scalability at both training and inference time. Our model builds long-range video features by learning from sets of video clip-level features extracted with a pre-trained backbone. To train the model, we propose a self-supervised objective consisting of masked clip feature prediction. We apply sparsity to both the input, by extracting a random set of video clips, and to the loss function, by only reconstructing the sparse inputs. Moreover, we use dimensionality reduction by working in the latent space of a pre-trained backbone applied to single video clips. The video representation is then obtained by taking the ensemble of the concatenation of embeddings of separate video clips with a video clip set summarization token. These techniques make our method not only extremely efficient to train, but also highly effective in transfer learning. We demonstrate that our video representation yields state-of-the-art performance with linear, non-linear, and $k$-NN probing on common action classification datasets.

优化通常是一个确定性问题，其中通过诸如梯度下降的一些迭代过程找到解决方案。然而，当培训神经网络时，由于样本的子集的随机选择，损耗函数会超过（迭代）时间。该随机化将优化问题转变为随机级别。我们建议将损失视为关于一些参考最优参考的嘈杂观察。这种对损失的解释使我们能够采用卡尔曼滤波作为优化器，因为其递归制剂旨在估计来自嘈杂测量的未知参数。此外，我们表明，用于未知参数的演进的卡尔曼滤波器动力学模型可用于捕获高级方法的梯度动态，如动量和亚当。我们称之为该随机优化方法考拉，对于Kalman优化算法而言，具有损失适应性的缺陷。考拉是一种易于实现，可扩展，高效的方法来训练神经网络。我们提供了通过实验的收敛分析和显示，它产生了与跨多个神经网络架构和机器学习任务的现有技术优化算法的现有状态的参数估计，例如计算机视觉和语言建模。

听诊器录制的胸部声音为新生儿的偏远有氧呼吸健康监测提供了机会。然而，可靠的监控需要高质量的心脏和肺部声音。本文介绍了新生胸部声音分离的新型非负基质分子（NMF）和非负矩阵协同分解（NMCF）方法。为了评估这些方法并与现有的单源分离方法进行比较，产生人工混合物数据集，包括心脏，肺和噪音。然后计算用于这些人造混合物的信噪比。这些方法也在现实世界嘈杂的新生儿胸部声音上进行测试，并根据生命符号估计误差评估，并在我们以前的作品中发达1-5的信号质量得分。此外，评估所有方法的计算成本，以确定实时处理的适用性。总的来说，所提出的NMF和NMCF方法都以2.7db到11.6db的下一个最佳现有方法而言，对于人工数据集，0.40至1.12的现实数据集的信号质量改进。发现10S记录的声音分离的中值处理时间为NMCF和NMF的342ms为28.3。由于稳定且稳健的性能，我们认为我们的提出方法可用于在真实的环境中弃绝新生儿心脏和肺部。提出和现有方法的代码可以在：https://github.com/egrooby-monash/heart-and-lung-sound-eparation。

目的：确定逼真，但是电磁图的计算上有效模型可用于预先列车，具有广泛的形态和特定于给定条件的形态和异常 - T波段（TWA）由于创伤后应激障碍，或重点 - 在稀有人的小型数据库上显着提高了性能。方法：使用先前经过验证的人工ECG模型，我们生成了180,000人的人工ECG，有或没有重要的TWA，具有不同的心率，呼吸率，TWA幅度和ECG形态。在70,000名患者中培训的DNN进行分类为25种不同的节奏，将输出层修改为二进制类（TWA或NO-TWA，或等效，PTSD或NO-PTSD），并对人工ECG进行转移学习。在最终转移学习步骤中，DNN在ECG的培训和交叉验证，从12个PTE和24个控件，用于使用三个数据库的所有组合。主要结果：通过进行转移学习步骤，使用预先培训的心律失常DNN，人工数据和真实的PTSD相关的心电图数据，发现了最佳性能的方法（AUROC = 0.77，精度= 0.72，F1-SCATE = 0.64） 。从训练中删除人工数据导致性能的最大下降。从培训中取出心律失常数据提供了适度但重要的，表现下降。最终模型在人工数据上显示出在性能下没有显着下降，表明没有过度拟合。意义：在医疗保健中，通常只有一小部分高质量数据和标签，或更大的数据库，质量较低（和较差的相关）标签。这里呈现的范式，涉及基于模型的性能提升，通过在大型现实人工数据库和部分相关的真实数据库上传输学习来提供解决方案。

胎儿心电图（FECG）首先在20世纪初从母体腹表面记录。在过去的五十年中，最先进的电子技术和信号处理算法已被用于将非侵入性胎儿心电图转化为可靠的胎儿心脏监测技术。在本章中，已经对来自非侵入性母亲腹部录像进行了建模，提取和分析的主要信号处理技术，并详细介绍了来自非侵入性母亲腹部录像的型号的建模，提取和分析。本章的主要主题包括：1）FECG的电生理学从信号处理视点，2）母体体积传导介质的数学模型和从体表的FECG的波形模型，3）信号采集要求，4）基于模型的FECG噪声和干扰取消的技术，包括自适应滤波器和半盲源分离技术，以及5）胎儿运动跟踪和在线FECG提取的最近算法的进步。

机器学习最近被出现为研究复杂现象的有希望的方法，其特征是丰富的数据集。特别地，以数据为中心的方法为手动检查可能错过的实验数据集中自动发现结构的可能性。在这里，我们介绍可解释的无监督监督的混合机学习方法，混合相关卷积神经网络（Hybrid-CCNN），并将其应用于使用基于Rydberg Atom阵列的可编程量子模拟器产生的实验数据。具体地，我们应用Hybrid-CCNN以通过可编程相互作用分析在方形格子上的新量子阶段。初始无监督的维度降低和聚类阶段首先揭示了五个不同的量子相位区域。在第二个监督阶段，我们通过培训完全解释的CCNN来细化这些相界并通过训练每个阶段提取相关的相关性。在条纹相中的每个相捕获量子波动中专门识别的特征空间加权和相关的相关性并鉴定两个先前未检测到的相，菱形和边界有序相位。这些观察结果表明，具有机器学习的可编程量子模拟器的组合可用作有关相关量子态的详细探索的强大工具。

在许多真实世界应用程序的组合匪徒如内容缓存，必须在满足最小服务要求的同时最大化奖励。此外，基本ARM可用性随着时间的推移而变化，并且采取的行动需要适应奖励最大化的情况。我们提出了一个名为Contexal Combinatial Volatile Birtits的新的强盗模型，具有组阈值来解决这些挑战。我们的模型通过考虑超级臂作为基础臂组的子集来归档组合匪徒。我们寻求最大化超级手臂奖励，同时满足构成超级臂的所有基座组的阈值。为此，我们定义了一个新的遗憾遗嘱，使超级臂奖励最大化与团体奖励满意度合并。为了便于学习，我们假设基臂的平均结果是由上下文索引的高斯过程的样本，并且预期的奖励是Lipschitz在预期的基础臂结果中连续。我们提出了一种算法，称为阈值组合高斯工艺的上置信度界限（TCGP-UCB），最大化累积奖励和满足组奖励阈值之间的余额，并证明它会导致$ \ tilde {o}（k \ sqrt {t \ overline { \ gamma} _ {t}}）$后悔具有高概率，其中$ \ overline {\ gamma} _ {t} $是与第一个$ t $轮中出现的基本arm上下文相关联的最大信息增益$ k $是所有在所有轮匝上任何可行行动的超级臂基数。我们在实验中展示了我们的算法累积了与最先进的组合强盗算法相当的奖励，同时采摘群体满足其阈值的动作。

Many applications of representation learning, such as privacy preservation, algorithmic fairness, and domain adaptation, desire explicit control over semantic information being discarded. This goal is formulated as satisfying two objectives: maximizing utility for predicting a target attribute while simultaneously being invariant (independent) to a known semantic attribute. Solutions to invariant representation learning (IRepL) problems lead to a trade-off between utility and invariance when they are competing. While existing works study bounds on this trade-off, two questions remain outstanding: 1) What is the exact trade-off between utility and invariance? and 2) What are the encoders (mapping the data to a representation) that achieve the trade-off, and how can we estimate it from training data? This paper addresses these questions for IRepLs in reproducing kernel Hilbert spaces (RKHS)s. Under the assumption that the distribution of a low-dimensional projection of high-dimensional data is approximately normal, we derive a closed-form solution for the global optima of the underlying optimization problem for encoders in RKHSs. This yields closed formulae for a near-optimal trade-off, corresponding optimal representation dimensionality, and the corresponding encoder(s). We also numerically quantify the trade-off on representative problems and compare them to those achieved by baseline IRepL algorithms.

心脏听诊是用于检测和识别许多心脏病的最具成本效益的技术之一。基于Auscultation的计算机辅助决策系统可以支持他们的决定中的医生。遗憾的是，在临床试验中的应用仍然很小，因为它们中的大多数仅旨在检测音盲局部信号中的额外或异常波的存在，即，仅提供二进制地面真理变量（普通VS异常）。这主要是由于缺乏大型公共数据集，其中存在对这种异常波（例如，心脏杂音）的更详细描述。为基于听诊的医疗建议系统铺平了更有效的研究，我们的团队准备了目前最大的儿科心声数据集。从1568名患者的四个主要听诊位置收集了5282个录音，在此过程中，手动注释了215780人的心声。此外，并且首次通过专家注释器根据其定时，形状，俯仰，分级和质量来手动注释每个心脏杂音。此外，鉴定了杂音的听诊位置以及杂音更集中检测到杂音的位置位置。对于相对大量的心脏声音的这种详细描述可以为新机器学习算法铺平道路，该算法具有真实世界的应用，用于检测和分析诊断目的的杂波。

我们考虑优化从高斯过程（GP）采样的矢量值的目标函数$ \ boldsymbol {f} $ sampled的问题，其索引集是良好的，紧凑的度量空间$（{\ cal x}，d）$设计。我们假设$ \ boldsymbol {f} $之前未知，并且在Design $ x $的$ \ \ boldsymbol {f} $ x $导致$ \ boldsymbol {f}（x）$。由于当$ {\ cal x} $很大的基数时，识别通过详尽搜索的帕累托最优设计是不可行的，因此我们提出了一种称为Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL的算法，从而利用GP的平滑度-Ampled函数和$（{\ cal x}，d）$的结构快速学习。从本质上讲，Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL采用基于树的自适应离散化技术，以识别$ \ Boldsymbol {\ epsilon} $ - 尽可能少的评估中的准确帕累托一组设计。我们在$ \ boldsymbol {\ epsilon} $ - 准确的Pareto Set识别上提供信息类型和度量尺寸类型界限。我们还在实验表明我们的算法在多个基准数据集上优于其他Pareto Set识别方法。